LLMs struggle to simulate human belief updates in controlled environments
大模型模拟人类信念更新时存在显著偏差
🧭 LLM 模拟人类信念的评估
IT:U, Interdisciplinary Transformation University Austria
LLM 仅在给定真实初始立场时可匹配人群分布，自身生成初始立场与更新过程均不忠实
📌 工作参考价值（4 点）
- 在电商/推荐场景中使用 LLM 模拟用户反馈或 A/B 测试时，必须为模型提供真实的初始偏好（如历史行为标签），否则模拟结果会严重失真，尤其会将中立选项过度膨胀。
- 基于人口统计与性格画像的 persona 对提升模拟保真度无一致效果，不应依赖该类特征做生成式用户建模；模型的实际行为分布主要受 prompt 中给定的立场起点约束。
- 模型倾向于产生更频繁但幅度更小的偏好转移，且无法正确评估信息说服力的排序，用于模拟推荐解释或广告文案对用户态度影响时，需用真实用户数据做校准。
- 当前多轮社交媒体仿真中若缺少真实起始条件，LLM 模拟的信念动态并不可靠，若需模拟用户兴趣演化，应考虑从真实交互序列冷启动，而非让模型自行生成初始兴趣。